作为seoer 你体味SEO搜索引擎抓取和更新策略？     比来在看一本书，发现当我们不实践直接看事理是死板无味的，而实践事后反过来看原理，会感受良多道理，许多感悟。就拿我自己做后背教材，说我是搜索引擎优化工作者，我对搜索引擎的工作体例和根基的抓取原理，更新策略都不懂。那么你呢？
    在介绍搜索引擎爬虫的之前，首先熟悉爬虫把上网页的分类，四种：
    1，已过时的网页和已下载的网页
    2，待下载的网页
    3，可知网页
    4，不成知网页
    下面我会具体介绍搜索引擎是若何更新已下载网页，如何下载待下载网页，如何措置可知但未抓取的网页，如何抓取不行知网页。
    一．处置赏罚待下载网页
    抓取策略：在一堆可知的网页中，搜索引擎会抽出待抓取网页url，爬虫抓取网页url在其中挨次枚举，形成一个队列，调剂轨范每次从队列头掏出某个url，发送给网页下载器下载内容，每个新下载的页面包含的url会追加到带抓取队列中的末尾，形成轮回，这是最基本的算法。但不是独一的体式格局。
    这样纯粹是按照按次抓取，可是搜索引擎一般都选择主要的页面优先抓取。网页重要性，年夜部门是按照网页风行度抓取的，所为网页流行度，谷歌官方有句话是指曝光度，通俗意思就是反向链接。（所以才有那么多人做外链）
    一般有四种方案选择重要页面：宽度优先遍历策略，非完全非谷歌pr值）策略，ocip策略，大站优先策略
    1、宽度优先遍历策略:将新下载的网页包含的链接直接追加到带抓取url队列末尾。看似很机械，其实包含了一些优先策略：若是入链斗劲多，就加倍轻易被宽度优先遍历策略抓取到，入链个数侧面默示了网页的重要性。（这就是为什么要做好站内链接）
    2、非完全前面的是以数目来定的，这个是插手了质量。
    初始算法：将已下载的的网页插足待下载url队列中形成网页集结，在这个纠合入彀较pr,然后将带抓取的队列按照pr从头布列，就按照这个递次抓取。
    （每次新下载网页之后又要从新较量争论排序，显得效率太低了）
    每当攒够k个网页之后在重新计算。然则问题是：新抽出来的网页没后计算pr没有pr值，他们的重要性可能比已经在队列中的要高怎么办？
    解决法子：给每个新抽出来赋予一个姑且pr，这个且则pr是按照入链传到的pr值汇总的值。这样在计算下，假如比队列中高就有限抓取他。这就长短完全pr
    （pr高的会优先抓取，收录多排名靠前机缘也大一些，所以会有那么多人提高spr）
    3、ocip（online page 策略：在线页面重要性，改良的pr算法。
    算法起头之前就每个页面都给一样的现金，，当这个页面被下载了往后，这个现金就平均分给他的导出页面，而自己的就清空。这些导出页面放在带抓取的队列中，按照现金若干好多来优先抓取。
    和pr区别:pr上一个页面的不清空，每次都要迭代重新计算，而这个不用重新计算都清空了。而且pr存在无毗连关系的跳转，而这个只要无毗邻就不传递现金。
    4、大站优先：带抓取队列中哪个网站的多就优先抓取哪个。（所以网站页面要丰硕，内容要富厚）
    二、更新已下载网页
    上面就是搜索引擎的抓取策略。抓取完了的页面就到场已下载的网页中，已下载的网页需要不竭地更新，那么搜索引擎又是如何更新的呢？
    一般的网页更新策略：历史参考策略，用户体验策略，聚类抽样策略
    1、历史参考：曩昔频仍更新的，此刻可能也频繁。操作模子展望未来更新时刻。忽略导航栏和广告的频繁更新，所以导航的频繁更新没用，重在内容（而今知道为什么更新内容要持续，有纪律了吧）
    2、用户体验：即使网页已经由时了，需要更新了，但如果我更新了不影响用户体验搜索引擎就晚些更新。算法是：网页更新对搜索引擎搜索质量的影响（一般看排名），影响大就尽快更新。所以他们会保留多个历史网页，凭证以前更新所带来的影响判定更新对搜索引擎质量的影响巨细。
    以上两种错误谬误：依靠历史，要留存很多历史数据，增添承担。如果没有历史记实就禁绝确了。
    3、聚类抽样策略：把网页分类，根据统一类别网页更新频率更新所有这一类此外网页。抽取最具代表性的，看他的更新频率，以后同业业的都按照这个频率。
    三、抓取弗成知网页
    不可知的网页就是暗网，搜索引擎很难用常规方法抓取到的数据。好比没有连接的网站，数据库。比如一个产物库存查询，可能要输入产品名称，地域，型号一系列文本才能查询库存数量。而搜索引擎是难以抓取的。这就有了查询组合和，isit算法。
    先介绍下两个概念：
    1、富含信息查询模版：就比如一个查询系统，我设定一个查询模版，每个文本框输入什么旌旗灯号，区域，产品名称等，形成分歧的查询组合。不同的组合之间差异很大，就是富含信息查询模版。
    这个模板是怎么确定的呢？爬虫先从一维模版入手下手，比如先另外不是输入就输入地区，看是否是富含信息查询模版，是就扩展到二维模版，比如地区+型号。如斯增加维度，直到没有新的模版。
    2、词的组合：也许你纳闷了，爬虫怎么知道这个输入框要输入什么，是地区仍是产品名称，照旧时间？所以爬虫最先需要人工提醒，人工供给一些初始查询种子表，爬虫更具这个表格查询下载页面，然后剖析页面，自动挖掘新的关头词，形成新的查询列表，然后在查询，将功效提交给搜索引擎，直到没有新内容为止。
    这样就完成了对暗网的抓取。
    以上只是简单的介绍一下爬虫的抓取和更新框架，具体的算法可就复杂多了。